DolphinBench: Mapping the Pareto Frontier of Agent Memory
DolphinBench：刻画智能体记忆的帕累托前沿
🧭 Agent 记忆评估基准
Mem0
首个通过任务完成直接评估智能体记忆，并要求报告成本与延迟的基准
📌 工作参考价值（3 点）
- 任务完成式记忆评估：在电商客服/导购 Agent 中，不要只测“用户偏好是什么”，而让 Agent 执行修改未支付订单、按用户历史沟通风格回复等任务，考察隐式的记忆触发与检索能力。
- 强制成本与延迟上报：上线 Agent 记忆模块时，同时记录 token 成本、检索步数、p50/p95 延迟，避免通过全量回放上下文或无限检索刷准确率。
- 用 with/without history 验证任务依赖：构建评测集时，删除相关历史后任务应无法完成，才能确认评测的是 memory 模块，而非 prompt 推理或通用能力。